Show-Harness: Just a VLM Agent Can Play Robots
Show-Harness：仅用 VLM Agent 通过语义接口控制机器人
🧭 VLM Agent 语义接口机器人控制
Show Lab, National University of Singapore
通过离散语义动作单元与解释器接口，让 VLM Agent 零样本或轻量微调后直接控制机器人
📌 工作参考价值（4 点）
- 借鉴“语义动作单元 + 确定性 interpreter”两层架构：让 LLM/VLM 只输出离散标准化意图标签（如 MV_FWD、GRASP），由业务侧 interpreter 落地为具体执行动作，可迁移到推荐/Agent 系统中降低模型生成复杂控制序列的出错率，同时兼容 App、网页、机器人等多端。
- 对闭源大模型直接 zero-shot 使用同一套接口，开源小模型仅需 few GPU-hours 微调即可替换，说明业务侧可保持接口不变、灵活切换底层模型，降低迭代成本。
- GUMI 的 GUI 操作采集 demonstrations 思路可复用：无需专用硬件，通过浏览器/GUI 操作轨迹构建 fine-tuning 数据，适合 UI 自动化、商品操作、Agent 行为采集等场景。
- 强调跨任务、跨 embodiment、跨环境泛化评测，建议推荐系统也构造跨场景/跨页面/跨库存的泛化测试集，避免单一环境过拟合。